Predprocesiranje Scikit-learn: Obvladovanje podatkovnih transformacijskih cevovodov za strojno učenje

V svetu strojnega učenja kakovost vaših podatkov neposredno vpliva na zmogljivost vaših modelov. Surovi podatki pogosto vsebujejo nedoslednosti, manjkajoče vrednosti in različne lestvice, zaradi česar niso primerni za neposredno uporabo. Scikit-learn, zmogljiva knjižnica Python, ponuja celovit nabor tehnik predprocesiranja za pretvorbo vaših podatkov v obliko, primerno za algoritme strojnega učenja. Ta članek se poglobi v svet predprocesiranja Scikit-learn in se osredotoča na ustvarjanje in uporabo podatkovnih transformacijskih cevovodov za poenostavitev vaših potekov dela strojnega učenja.

Zakaj je predprocesiranje podatkov ključno

Predprocesiranje podatkov je postopek čiščenja, pretvorbe in organiziranja surovih podatkov, da postanejo bolj primerni za modele strojnega učenja. To je ključni korak, ker so algoritmi strojnega učenja občutljivi na lestvico in porazdelitev vhodnih značilk. Brez ustreznega predprocesiranja lahko modeli delujejo slabo, kar vodi do netočnih napovedi in nezanesljivih rezultatov. Tukaj je nekaj ključnih razlogov, zakaj je predprocesiranje podatkov bistveno:

• Izboljšana zmogljivost modela: Predprocesirani podatki omogočajo modelom, da se učijo učinkoviteje in dosežejo večjo natančnost.
• Obravnava manjkajočih vrednosti: Tehnike imputacije zapolnijo manjkajoče podatkovne točke in preprečijo, da bi se algoritmi zrušili ali ustvarili pristranske rezultate.
• Standardizira lestvice značilk: Metode skaliranja zagotavljajo, da vse značilnosti enako prispevajo k modelu, kar preprečuje, da bi značilnosti z večjimi vrednostmi prevladale v procesu učenja.
• Kodira kategorične spremenljivke: Tehnike kodiranja pretvorijo kategorične podatke v numerične reprezentacije, ki jih algoritmi strojnega učenja lahko razumejo.
• Zmanjšuje šum in odstopanja: Predprocesiranje lahko pomaga ublažiti vpliv odstopanj in šumnih podatkov, kar vodi do robustnejših modelov.

Uvod v cevovode Scikit-learn

Cevovodi Scikit-learn ponujajo način za združevanje več korakov transformacije podatkov v en sam, večkratno uporabni objekt. To poenostavi vašo kodo, izboljša berljivost in preprečuje uhajanje podatkov med vrednotenjem modela. Cevovod je v bistvu zaporedje transformacij podatkov, ki jim sledi končni ocenjevalnik (npr. klasifikator ali regresor). Tukaj je razlog, zakaj so cevovodi tako koristni:

• Organizacija kode: Cevovodi zaprejo celoten potek dela predprocesiranja podatkov in modeliranja v eno samo enoto, zaradi česar je vaša koda bolj organizirana in enostavnejša za vzdrževanje.
• Preprečevanje uhajanja podatkov: Cevovodi zagotavljajo, da se transformacije podatkov dosledno uporabljajo tako za učne kot za testne podatke, kar preprečuje uhajanje podatkov, ki lahko vodi do prekomernega prilagajanja in slabe posplošitve.
• Poenostavljeno vrednotenje modela: Cevovodi olajšajo ocenjevanje uspešnosti vašega modela z uporabo tehnik, kot je navzkrižna validacija, saj se celoten potek dela predprocesiranja in modeliranja dosledno uporablja za vsako zložko.
• Poenostavljena implementacija: Cevovode je mogoče preprosto implementirati v proizvodna okolja, kar zagotavlja, da so podatki predprocesirani na enak način kot med usposabljanjem.

Pogoste tehnike predprocesiranja podatkov v Scikit-learn

Scikit-learn ponuja široko paleto tehnik predprocesiranja. Tukaj je nekaj najpogosteje uporabljenih:

1. Skaliranje in normalizacija

Skaliranje in normalizacija sta tehniki, ki se uporabljata za pretvorbo numeričnih značilk v podoben obseg vrednosti. To je pomembno, ker lahko značilnosti z različnimi lestvicami nesorazmerno vplivajo na proces učenja. Scikit-learn ponuja več metod skaliranja in normalizacije:

• StandardScaler: Standardizira značilnosti tako, da odstrani srednjo vrednost in skalira na enotno varianco. To je pogosto uporabljena tehnika, ki predpostavlja, da podatki sledijo normalni porazdelitvi.

  Formula: x_scaled = (x - mean) / standard_deviation

  Primer: Recimo, da imate cene hiš v USD in kvadratnih metrih. Skaliranje teh značilk zagotavlja, da model ne daje pretiranega pomena značilnosti z večjimi vrednostmi (npr. cene hiš).

• MinMaxScaler: Skalira značilnosti na določen obseg, običajno med 0 in 1. To je uporabno, če želite ohraniti prvotno porazdelitev podatkov.

  Formula: x_scaled = (x - min) / (max - min)

  Primer: Obdelava slik pogosto uporablja MinMaxScaler za normalizacijo vrednosti pik v obsegu [0, 1].

• RobustScaler: Skalira značilnosti z uporabo statističnih podatkov, ki so odporni na odstopanja, kot sta mediana in interkvartilni razpon (IQR). To je dobra izbira, kadar vaši podatki vsebujejo odstopanja.

  Formula: x_scaled = (x - median) / IQR

  Primer: V finančnih naborih podatkov, kjer so odstopanja pogosta (npr. ekstremna nihanja na borznem trgu), lahko RobustScaler zagotovi bolj stabilne rezultate.

• Normalizer: Normalizira vzorce posamično na enotno normo. To je uporabno, kadar je pomembnejša velikost vektorja značilk kot posamezne vrednosti značilk.

  Formula (L2 norma): x_scaled = x / ||x||

  Primer: V obdelavi besedila je normalizacija vektorjev frekvence terminov-inverzne frekvence dokumentov (TF-IDF) pogosta praksa.

2. Kodiranje kategoričnih spremenljivk

Algoritmi strojnega učenja običajno zahtevajo numerične vnose, zato je treba kategorične spremenljivke pretvoriti v numerične reprezentacije. Scikit-learn ponuja več tehnik kodiranja:

• OneHotEncoder: Ustvari binarne stolpce za vsako kategorijo v značilki. To je primerno za nominalne kategorične značilnosti (značilnosti brez prirojene ureditve).

  Primer: Kodiranje značilnosti "država" z vrednostmi, kot so "ZDA", "Kanada" in "Združeno kraljestvo", bi ustvarilo tri nove stolpce: "država_ZDA", "država_Kanada" in "država_Združeno kraljestvo".

• OrdinalEncoder: Vsaki kategoriji dodeli celoštevilčno vrednost na podlagi njenega vrstnega reda. To je primerno za ordinalne kategorične značilnosti (značilnosti s smiselnim vrstnim redom).

  Primer: Kodiranje značilnosti "stopnja izobrazbe" z vrednostmi, kot so "Srednja šola", "Diploma" in "Magisterij", bi dodelilo celoštevilčne vrednosti, kot so 0, 1 in 2.

• LabelEncoder: Kodira ciljne oznake z vrednostmi med 0 in n_classes-1. Uporabite to za kodiranje ciljne spremenljivke pri klasifikacijskih problemih.

  Primer: Kodiranje oznak "spam" in "ne spam" kot 0 oziroma 1.

• TargetEncoder (zahteva knjižnico category_encoders): Kodira kategorične značilnosti na podlagi povprečja ciljne spremenljivke za vsako kategorijo. Lahko privede do uhajanja cilja, če se ne uporablja previdno v nastavitvi navzkrižne validacije.

3. Obravnava manjkajočih vrednosti

Manjkajoče vrednosti so pogosta težava v resničnih naborih podatkov. Scikit-learn ponuja tehnike za imputacijo (izpolnjevanje) manjkajočih vrednosti:

• SimpleImputer: Imputira manjkajoče vrednosti z uporabo konstantne vrednosti, povprečja, mediane ali najpogostejše vrednosti značilke.
• KNNImputer: Imputira manjkajoče vrednosti z uporabo algoritma k-najbližjih sosedov. Poišče k najbližjih vzorce vzorcu z manjkajočimi vrednostmi in uporabi povprečno vrednost teh sosedov za imputacijo manjkajoče vrednosti.
• IterativeImputer: Imputira manjkajoče vrednosti z uporabo iterativnega modelirnega pristopa. Vsaka značilka z manjkajočimi vrednostmi je modelirana kot funkcija drugih značilk, manjkajoče vrednosti pa se napovedujejo iterativno.

4. Transformacija značilk

Transformacija značilk vključuje ustvarjanje novih značilk iz obstoječih. To lahko izboljša zmogljivost modela z zajemanjem nelinearnih odnosov ali interakcij med značilkami. Nekatere tehnike vključujejo:

• PolynomialFeatures: Ustvari polinomske kombinacije značilk. Na primer, če imate dve značilki x1 in x2, lahko PolynomialFeatures ustvari nove značilke, kot so x1^2, x2^2, x1*x2.
• FunctionTransformer: Uporabi funkcijo po meri na značilke. To vam omogoča izvajanje poljubnih transformacij, kot so logaritmične transformacije ali eksponentne transformacije.
• PowerTransformer: Uporabi transformacijo moči, da so podatki bolj podobni Gaussovi porazdelitvi. To je lahko uporabno za algoritme, ki predvidevajo normalnost, kot je linearna regresija. (Vključuje transformacije Box-Cox in Yeo-Johnson)

Gradnja podatkovnih transformacijskih cevovodov s Scikit-learn

Zdaj pa dajte te tehnike predprocesiranja v prakso z izgradnjo podatkovnih transformacijskih cevovodov. Tukaj je vodnik po korakih:

1. Uvoz potrebnih knjižnic

Začnite z uvozom zahtevanih knjižnic iz Scikit-learn:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. Naložite in pripravite svoje podatke

Naložite svoj nabor podatkov z uporabo pandas ali katere koli druge ustrezne metode. Prepoznajte numerične in kategorične značilnosti v vašem naboru podatkov. Na primer:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. Določite korake predprocesiranja

Ustvarite primere pretvornikov predprocesiranja, ki jih želite uporabiti. Na primer, za obdelavo numeričnih značilk bi lahko uporabili StandardScaler in SimpleImputer. Za kategorične značilnosti bi lahko uporabili OneHotEncoder. Razmislite o vključitvi strategij za obravnavo manjkajočih vrednosti pred skaliranjem ali kodiranjem.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. Ustvarite ColumnTransformer

Uporabite ColumnTransformer za uporabo različnih pretvornikov na različnih stolpcih vaših podatkov. To vam omogoča, da ločeno predprocesirate numerične in kategorične značilnosti.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. Zgradite cevovod

Ustvarite objekt Pipeline, ki poveže korake predprocesiranja z modelom strojnega učenja. To zagotavlja, da so podatki predprocesirani dosledno, preden se vnesejo v model.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. Usposobite in ovrednotite model

Razdelite svoje podatke na učne in testne sklope. Nato usposobite cevovod na učnih podatkih in ovrednotite njegovo uspešnost na testnih podatkih.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Popoln primer kode

Tukaj je popolna koda za izgradnjo in usposabljanje podatkovnega transformacijskega cevovoda:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Vzorčni podatki data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Določite značilnosti numerical_features = ['age', 'salary'] categorical_features = ['country'] # Ustvarite pretvornike numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Ustvarite predprocesor preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # Ustvarite cevovod pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Razdelite podatke X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Usposabljanje modela pipeline.fit(X_train, y_train) # Ovrednotite model score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Napredne tehnike cevovodov

Ko vam je udobno z osnovami, lahko raziščete bolj napredne tehnike cevovodov:

1. Pretvorniki po meri

Ustvarite lahko svoje pretvornike po meri za izvajanje posebnih transformacij podatkov, ki niso na voljo v Scikit-learn. Če želite ustvariti pretvornik po meri, se morate dedovati iz razredov TransformerMixin in BaseEstimator ter implementirati metodi fit in transform. To je lahko uporabno za inženiring značilk ali transformacije, specifične za domeno. Ne pozabite vključiti ustreznih docstrings za berljivost.

2. Zveza značilk

FeatureUnion vam omogoča, da združite izhod več pretvornikov v en sam vektor značilk. To je lahko uporabno, če želite uporabiti različne transformacije na iste značilnosti ali združiti značilnosti, ki so bile transformirane na različne načine. Razred FeatureUnion se uporablja za združevanje izhoda več pretvornikov v en sam vektor značilk.

3. Iskanje po mreži s cevovodi

Uporabite lahko GridSearchCV za optimizacijo hiperparametrov vašega cevovoda, vključno s hiperparametri korakov predprocesiranja. To vam omogoča, da samodejno najdete najboljšo kombinacijo tehnik predprocesiranja in parametrov modela. Bodite previdni glede povečanih računskih stroškov.

Najboljše prakse za podatkovne predprocesirne cevovode

Tukaj je nekaj najboljših praks, ki jih morate upoštevati pri gradnji podatkovnih predprocesirnih cevovodov:

• Razumevanje vaših podatkov: Pred uporabo kakršnih koli tehnik predprocesiranja si vzemite čas za razumevanje svojih podatkov. Raziščite porazdelitve svojih značilk, prepoznajte manjkajoče vrednosti in poiščite odstopanja.
• Dokumentirajte svoj cevovod: Dodajte komentarje v svojo kodo, da razložite vsak korak cevovoda. To bo olajšalo razumevanje in vzdrževanje vaše kode.
• Preizkusite svoj cevovod: Temeljito preizkusite svoj cevovod, da zagotovite, da deluje pravilno. Uporabite enote za preverjanje, da vsak korak cevovoda daje pričakovani izhod.
• Izogibajte se uhajanju podatkov: Bodite previdni, da se izognete uhajanju podatkov pri predprocesiranju podatkov. Poskrbite, da uporabljate samo informacije iz učnih podatkov za predprocesiranje učnih podatkov. Uporabite cevovode za zagotovitev doslednosti med učnimi in testnimi podatki.
• Spremljajte zmogljivost: Spremljajte uspešnost svojega modela skozi čas in ga po potrebi ponovno usposabljajte. Porazdelitve podatkov se lahko sčasoma spremenijo, zato je pomembno, da redno ponovno ocenite svoj cevovod in po potrebi prilagodite.

Primeri iz resničnega sveta

Poglobimo se v nekaj primerov iz resničnega sveta, kako se lahko podatkovni transformacijski cevovodi uporabljajo v različnih panogah:

• Finance: Pri modeliranju kreditnega tveganja se lahko cevovodi uporabljajo za predprocesiranje podatkov o strankah, vključno z numeričnimi značilnostmi, kot so dohodek in kreditna ocena, ter kategoričnimi značilnostmi, kot sta status zaposlitve in namen posojila. Manjkajoče vrednosti je mogoče imputirati z uporabo tehnik, kot sta imputacija povprečja ali imputacija k-najbližjih sosedov. Skaliranje je ključno, da se zagotovi, da značilnosti z različnimi lestvicami ne prevladujejo v modelu.
• Zdravstvo: Pri medicinski diagnozi se lahko cevovodi uporabljajo za predprocesiranje podatkov o bolnikih, vključno z numeričnimi značilnostmi, kot so starost, krvni tlak in raven holesterola, ter kategoričnimi značilnostmi, kot sta spol in zdravstvena anamneza. Kodiranje One-hot se lahko uporablja za pretvorbo kategoričnih značilnosti v numerične reprezentacije.
• E-trgovina: V sistemih priporočil izdelkov se lahko cevovodi uporabljajo za predprocesiranje podatkov o strankah in izdelkih, vključno z numeričnimi značilnostmi, kot sta pogostost nakupov in ocene izdelkov, ter kategoričnimi značilnostmi, kot so kategorija izdelkov in demografija strank. Cevovodi lahko vključujejo korake za predprocesiranje besedila, kot sta tokenizacija in ožigosanje, za pridobivanje značilk iz opisov izdelkov in ocen strank.
• Proizvodnja: Pri prediktivnem vzdrževanju se lahko cevovodi uporabljajo za predprocesiranje podatkov senzorjev iz strojev, vključno z numeričnimi značilnostmi, kot so temperatura, tlak in vibracije, ter kategoričnimi značilnostmi, kot sta vrsta stroja in obratovalni pogoji. RobustScaler je lahko še posebej uporaben tukaj zaradi možnosti odstopajočih odčitkov.

Obravnavanje izzivov v globalnih naborih podatkov

Pri delu z globalnimi nabori podatkov boste pogosto naleteli na specifične izzive, ki zahtevajo skrbno obravnavo med predprocesiranjem. Tukaj je nekaj pogostih težav in strategij za njihovo obravnavanje:

• Različni formati podatkov: Datumi, številke in valute imajo lahko različne formate v različnih regijah. Zagotovite dosledno razčlenjevanje in oblikovanje. Na primer, datumi so lahko v obliki DD/MM/LLLL ali MM/DD/LLLL. Uporabite ustrezne knjižnice za obdelavo pretvorb in oblikovanja datumov.
• Jezične razlike: Besedilni podatki so morda v različnih jezikih, kar zahteva prevajanje ali tehnike predprocesiranja, specifične za določen jezik. Razmislite o uporabi knjižnic, kot je Google Translate API (z ustreznimi premisleki o uporabi in stroškovnih posledicah) za prevajanje ali NLTK za obdelavo besedila, specifično za jezik.
• Pretvorba valut: Finančni podatki so morda v različnih valutah. Pretvorite vse vrednosti v skupno valuto z uporabo ažurnih menjalnih tečajev. Uporabite zanesljive API-je za pridobivanje natančnih in sprotnih menjalnih tečajev.
• Časovni pasovi: Časovni podatki se lahko beležijo v različnih časovnih pasovih. Pretvorite vse časovne žige v skupni časovni pas (npr. UTC), da zagotovite doslednost. Uporabite knjižnice, kot je pytz, za obravnavo pretvorb časovnih pasov.
• Kulturne razlike: Kulturne nianse lahko vplivajo na interpretacijo podatkov. Na primer, ocene zadovoljstva strank se lahko interpretirajo različno v različnih kulturah. Zavedajte se teh nians in jih upoštevajte pri načrtovanju korakov predprocesiranja.
• Težave s kakovostjo podatkov: Kakovost podatkov se lahko znatno razlikuje med različnimi viri. Izvedite robustne postopke preverjanja veljavnosti podatkov in čiščenja za prepoznavanje in odpravljanje napak.

Zaključek

Predprocesiranje podatkov je ključni korak v cevovodu strojnega učenja. Z uporabo cevovodov Scikit-learn lahko poenostavite svoj potek dela, preprečite uhajanje podatkov in izboljšate zmogljivost svojih modelov. Obvladovanje teh tehnik vam bo omogočilo gradnjo bolj robustnih in zanesljivih rešitev strojnega učenja za široko paleto aplikacij. Ne pozabite prilagoditi korakov predprocesiranja posebnim značilnostim vaših podatkov in zahtevam vašega modela strojnega učenja. Eksperimentirajte z različnimi tehnikami, da boste našli optimalno kombinacijo za vaš problem. Z vlaganjem časa v ustrezno predprocesiranje podatkov lahko sprostite polni potencial svojih algoritmov strojnega učenja in dosežete vrhunske rezultate.